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INTERNATIONALER VORLAUFIGER 

PRUFUNGSBERICHT Internationales Aktenzeichen PCT/DE99/01949 

I. Grundlage des Berichts 

1 . Dieser Bericht wurde erstellt auf der Gmndlage {Ersatzblatter, die dem Anmeldeamt auf eine Aufforderung nach 
Artikel 14 bin vorgelegt warden, gelten im Rahmen dieses Berichts als "ursprunglich eingereicht" undsindfhm 
nicht beigefugt, weil sie koine Anderungen enthalten,)\ 

Beschreibung, Seiten: 

1-21 ursprungliche Fassung 

Patentanspriiche, Nr.: 

1-16 ursprungliche Fassung 

Zeichnungen, Blatter: 

1/4-4/4 ursprungliche Fassung 


2, Aufgrund der Anderungen sind folgende Unterlagen fortgefallen: 

□ Beschreibung, Seiten: 

□ Anspruche, Nr.: 

□ Zeichnungen, Blatt: 

3. □ Dieser Bericht ist ohne Berucksichtigung (von einigen) der Anderungen erstellt worden, da diese aus den 

angegebenen Grunden nach Auffassung der Behorde uber den Offenbarungsgehalt in der ursprunglich 
eingereichten Fassung hinausgehen (Regel 70.2(c)): 


4. Etwaige zusatzllche Bemerkungen: 


V. Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erflnderischen Tatigkeit und der 
gewerbltchen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

1 . Feststellung 

Neuheit (N) Ja: Anspruche 1-16 

Nein: Anspruche 

Erf Inderische Tatigkeit (ET) Ja: Anspruche 1-16 

Nein: Anspruche 

Gewerbliche Anwendbarkeit (G A) Ja: Anspruche 1-16 

Nein. Anspruche 
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2. Unterlagen und Erklarungen 
siehe Beiblatt 

VII. Bestlmmte Mangel der internationalen Anmeldung 

Es wurde festgestellt, da3 die intemationale Anmeldung nach Fomi oder Inhalt folgende Mangel aufweist: 
siehe Beiblatt 
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Zu Punkt V 

Begriindete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der 
erfinderischen Tatigkeit und der gewerbiichen Anwendbarkeit; Unterlagen und 
Erklarungen zur Sttitzung dieser Feststellung 

1. Die Erfindung betrifft das Trainieren eines Neuronalen Netzes (NN) mit gepulste 
Neuronen, und dessen Verwendung zur Klassifikation einer Folge von 
EingangsgroBen. 

2. Es wird auf die folgenden Dokumente verwiesen: 
D1 : US-A-5 675 504 (J. SERODES et al.) 

D2: A.J. SURKAN et a!.: "Prediction by neural network methods compared for 
energy control problems", PROCEEDINGS OF THE AMERICAN POWER 
CONFERENCE, 58TH ANNUAL MEETING 1996, TECHNOLOGY FOR 
COMPETITION AND GLOBALIZATION, Illinois Inst. Technol., Chicago, IL, 
USA, 9-11 April 1996, Seiten 231-236, vol.1, XP000879471 

D3: J. GIA-SHUH et al.: "Intelligent Stock Trading System with Price Trend 
Prediction and Reversal Recognition Using Dual-Module Neural Networks", 
APPLIED INTELLIGENCE: THE INTERNATIONAL JOURNAL OF ARTIFICIAL 
INTELLIGENCE, NEURAL NETWORKS, AND COMPLEX PROBLEM- 
SOLVING TECHNOLOGIES, SEPT. 1993, NETHERLANDS. Bd. 3, Nr. 3. 
Seiten 225-248, XP000878752 ISSN: 0924-669X 

D4: R.S. ZEBULUM et al.: "Short-Term Load Forecasting Using Neural Nets", 
FROM NATURAL TO ARTIFICIAL NEURAL COMPUTATION, PROCEEDINGS 
OF IWANN 95 - INTERNATIONAL WORKSHOP ON ARTIFICIAL NEURAL 
NETWORKS, Malaga-Tori-emolinos, Spain, 7-9 June 1995, Seiten 1001-1008, 
XP000878823 1995, Berlin, Germany, Springer- Verlag, Germany, ISBN: 3-540- 
59497-3 

D5: US-A-5 630 023 (OTEKI SUGITAKA) 

3. Es ist aus dem Stand der Technik allgemein bekannt, die GroBe des Eingangs- 
datensatzes, mit dem ein Neuronales Netz (NN) trainiert wird, so zu variieren, da3 
die Dauer des Trainings und/oder die Erkennungsqualitat bzw. die Zuverlassigkeit 
der Vorhersage optimiert wird. 
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In D1, wird ein Back-Propagation-NN trainiert (s. Spalte 6, Zeilen 34-36), wobei die 
GroBe des Trainingsdatensatzes iterativ entweder vergroBert Oder verkleinert wird 
(s. Spalte 5. Zeilen 48-52, und Spalte 6, Zeilen 61-62). Es wird als optimal trainiertes 
NN das NN ausgewahit, welches mit dem Trainingsdatensatz trainiert wurde, der den 
kleinsten durchschnittlichen quadratischen Fehler RMSE erzeugte (Spalte 7, Zeilen 
6-8). 

Unn Trainingsschnelligkeit und Zuverlassigkeit der Vorhersage zu verbessern, 
werden in D2 eine Mehrzahl von Trainingsalgorithmen benutzt, einschlieBlich des 
auch in der Erfindung verwendeten ALOPEX-Algorithmus (vgl. z.B. Absatz "The 
ALOPEX algorithm" an Seiten 233 und 234). GemaB D2 bringt ein groBerer 
Trainingsdatensatz nicht die besseren und schnelleren Ergebnisse hervor (Seite 234, 
rechte Spalte, Zeilen 19-22; Seite 235, linke Spalte, Zeilen 30-35). 
Sowohl in D3 als auch in D4, wird ein Back-Propagation NN trainiert (D3, Seite 227, 
linke Spalte, Zeilen 10-12; D4, Seite 1004, Zeilen 23-24), wobei aus dem verfugbaren 
historischen Eingangsdatensatz jeweils zwei Trainingsdatensatze durch zwei 
Zeitfenster verschiedener GroBe ausgewahit werden (D3, Seite 227, linke Spalte, 
Zeilen 16-29; D4, Seite 1003, Zeilen 7-14). Daruber hinaus werden gemaB D3 beide 
Zeitfenster wahrend des Trainings iterativ zeitlich verschoben (Seite 232, Abbildung 
3, und Seite 233, linke Spalte, Zeilen 8-16). 

D5 beschreibt lediglich ein hierarchisches NN, in dem ein positives und ein negatives 
Fehlersignal zur Anpassung der Kupplungkoeffizienten der Neuronen benutzt werden 
(vgl. D5, Beginn des Anspruchs 1), wobei das Netz schneller beim Lernen 
konvergiert (s. Absatz zwischen Spalten 11 und 12). 

4. Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes ALOPEX- Verfahren 
sowie eine Anordnung zum Trainieren eines NN mit gepulsten Neuronen anzugeben, 
bei denen der fur das Training benotigte Rechenaufwand erheblich reduziert ist. 
Eine weitere Aufgabe der Erfindung ist es das somit trainierte NN zur Klassifikation 
einer Folge von EingangsgroBen zu benutzen, wobei gewahrleistet ist, daB bei 
optimierter Klassifikationssicherheit eine minimierte Anzahl von Zeitwerten dem NN 
zugefuhrt werden mussen. 

Gelost wird die erste Aufgabe durch ein Verfahren, gemaB Anspruch 1, sowie eine 
Anordnung gemaB Anspruch 14, wonach ein NN, wie im Anspruch 11 eriautert, 
trainiert wird. 

GemaB der oben genannte Anspruche, wird fur einen ersten Zeitraum das NN derart 
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trainiert, daB ein Unterscheidungswert maximiert wird, wobei der Unterscheidungs- 
wert abhangig ist von Impulsen, die von den gepulsten Neuronen innerhalb des 
ersten Zeitraums gebildet werden. Iterativ wird der erste Zeitraunn so lange verkurzt 
und fur den zweiten Zeitraum ein zweiter Unterscheidungswert gebildet bis der 
zweite Unterscheidungswert kleiner ist als der maximale Unterscheidungswert. Das 
trainierte NN ist das NN der letzten Iteration, bei der der zweite Unterscheidungswert 
gleich dem nnaximalen Unterscheidungswert ist. 

Die zweite Erfindungsaufgabe wird gemaB Anspruch 8 gelost, in dem das gemaB der 
Erfindung trainiertes NN zwischen verschiedenen kontinuierlichen Prozessen (pi, p2) 
unterscheidet. Anhand eines Ausgangsignals (402) wird durch das trainierte NN 
angegeben, um welche Art vom ProzeB es sich bei denn entsprechenden 
Eingangsdatensatz handelt. 

5. Eine solche Losung ist dem Stand der Technik nicht zu entnehmen. 

Die unabhangigen Anspruche 1, 8, 11 und 14 sind daher als neu und auf 
erfinderischer Tatigkeit beruhend anzusehen, Artikel 33 (2), (3) PCT. 
Die abhangigen Anspruche 2-7, 9, 10, 12, 13, 15 und 16 enthalten weitere Aus- 
gestaltungsmerkmale der Erfindung gemaB der jeweiligen unabhangige Anspruche, 
und erfullen damit die Erfordernisse des Artikels 33(2) und (3) PCT bezuglich Neuheit 
und erfinderischer Tatigkeit. 

Die vorliegende Erfindung gemaB den Anspruchen 1 bis 16 ist offensichtlich auch 
gewerblich anwendbar, Artikel 33(4) PCT. 

Zu Punkt VII 

Bestimmte Mangel der internationalen Anmeldung 

6. Die Merkmale der Anspruche sind nicht mit in Klammern gesetzten Bezugszeichen 
versehen worden (Regel 6.2 b) PCT). 

Unter den oben zitierten Dokumenten (D1 bis D5), kommt Dokument D1 der 
Erfindung am nachsten, in dem dort die allgemeine Idee, die GroBe des Trainings- 
datensatzes iterativ zu andern, offenbart wird. Die Erfindung als solche wird 
allerdings nicht durch D1 vorweggenomen weil das in D1 benutzte Kriterium, nach 
dem die Iteration gestoppt wird, anders ist als in der Erfindung, Daruber hinaus wird 
gemaB D1 der Trainingdatensatz nicht nur verkleinert, wie in der Erfindung, sondern 
auch moglicherweise vergroBert. 
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Obwohl der Stand der Technik ziemlich ausfuhrlich in der Anmeldung dargestellt ist, 
ware es angebracht gewesen, hinsichtlich Regel 5.1 a) ii) PCT auch D1 in der 
Beschreibung anzugeben und den dort einschlagigen Stand der Technik kurz zu 
eriautern. 
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Beschreibung 

Verf ahren zum Trainieren eines neuronalen Netzes , Verf ahren 
zur Klassif ikation einer Folge von Eingangsgrofien unter Ver- 
wendung eines neuronalen Netzes / neuronales Netz und Anord- 
nung ziom Trainieren eines neuronalen Hetzes 

Die Erfindung betrifft ein Verfahren zum Trainieren eines 
neuronalen Netzes, ein Verfahren zur Klassif ikation einer 
Folge von Eingangsgrofien unter Verwendung eines neuronalen 
Netzes sowie ein neuronales Netz und eine Anordnung zum Trai- 
nieren eines neuronalen Netzes. 

Ein neuronales Netz weist Neuronen auf, die zumindest teil- 
weise miteinander verbunden sind. Eingangsneuronen des neuro- 
nalen Netzes werden Eingangssignale als Eingangsgrolien den 
Eingangsneuronen zugefuhrt. Das neuronale Netz weist ubli- 
cherweise mehrere Schichten auf . Abhangig von einem Neuron 
des neuronalen Netzes zugefuhrten Eingangsgrolien und einer 
fur das Neuron vorgesehenen Aktivierungsf unktion generiert 
jeweils ein Neuron ein Signal, welches wiederum Neuronen ei- 
ner weiteren Schicht als EingangsgroBe gemalJ einer vorgebba- 
ren Gewichtung zugefuhrt wird. In einer Ausgangsschicht wird 
in einem Ausgangsneuron eine Ausgangsgrofie abhangig von Gro- 
flen, die dem Ausgangsneuron von Neuronen der vorangegangenen 
Schicht zugefuhrt werden, generiert. Es existieren derzeit im 
wesentlichen zwei Ansatze hinsichtlich der Frage, in welcher 
Form Information in einem neuronalen Netz gespeichert ist. 

Ein erster Ansatz geht davon aus, daB die Information in ei- 
nem Neuronalen Netz im Spektralbereich codiert ist. Bei die- 
sem Ansatz wird eine zeitliche Folge von Eingangsgrofien der- 
art codiert, dafi fur jeden Zeitreihenwert einer zeitlichen 
Folge der Eingangsgrofien jeweils ein Eingangsneuron vorgese- 
hen ist, an welches Eingangsneuron der jeweilige Zeitreihen- 
wert gelegt wird. 
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Bei einem neuronalen Netz, welches gemaB diesem Ansatz ausge- 
staltet ist/ wird ublicherweise als Aktivierungsf unktion eine 
tangens hyperbolicus (tanh) -Funktion verwendet. 

Diese erste Art eines neuronalen Netzes wird im weiteren als 
statisches neuronales Netz bezeichnet- 


Nachteilig an diesem Ansatz ist insbesondere, dafi es mit ei- 
nem statischen neuronalen Netz nicht moglich ist, eine Dyna- 
mik eines Prozesses, welchem Prozeli ein technisches System 
unterliegt, explizit bei der internen Codierung der Folge von 
EingangsgroJien zu beriicksichtigen. 

Die aus [4] bekannten Time-Delay-Neural-Networks (TDNN) ver- 
suchen diesem Nachteil dadurch zu begegnen, dafi bei einer 
Mehrzahl von Folgen von EingangsgroJien fur jede Folge und fur 
jeden Zeitreihenwert jeweils ein Eingangsneuron vorgesehen 
ist. Dieser Ansatz weist insbesondere den Nachteil auf, dafi 
die Dimension des Eingaberaiims, reprasentiert durch die An- 
zahl von Eingangsneuronen, mit wachsender Anzahl zu beruck- 
sichtigender unterschiedlicher Folgen von EingangsgroBen ex- 
ponentiell wachst . 

Mit steigender Anzahl von Neuronen in dem neuronalen Netz ist 
ferner ein erhohter Trainingsaufwand unter Verwendung einer 
mit steigender Anzahl Neuronen steigender Anzahl benotigter 
Trainingsdaten verbunden. Damit wird ein Trainieren eines 
statischen neuronalen Netzes unter diesen Bedingungen sehr 
rechenaufwendig bzw. praktisch nicht mehr durchf uhrbar . 

Zum Trainieren eines statischen neuronalen Netzes. wird ubli- 
cherweise ein gradientenbasiertes Trainingsverf ahren bei- 
spielsweise das Back-Propagation-Verf ahren eingesetzt. 

Aus [3] ist ferner fiir ein statisches neuronales Netz ein 
Trainingsverfahren bekannt, welches als ALOPEX-Verf ahren be- 
zeichnet wird. Bei diesem Verfahren wird das Lernen eines 
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statischen neuronalen Netzes als ein Optimierungsproblem be- 
trachtet. Ziel der Optimierung ist in diesem Fall die Mini- 
mierung eines Fehleirmafies E unter Berticksichtigung von in dem 
statischen neuronalen Netz vorhandenen Gewichte, mit denen 
5 die Verbindungen zwischen Neuronen gewichtet sind, fiir einen 
vorgegebenen Trainingsdatensatz mit Trainingsdaten. 

Ein Trainingsdatum ist ein Tupel, welches EingangsgroBen, 
beispielsweise ZustandsgroBen eines technischen Systems bzw, 
10 Rahmenbedingungen, denen ein technisches System unterliegt, 

die einem technischen System zugeftihrt werden, sowie eine un- 
ter den Rahmenbedingungen ermittelte AusgangsgroJie, die von 
dem technischen System zu den Eingangsgrofien gebildet wird. 

15 Das ALOPEX-Verf ahren wird im weiteren im Zusammenhang mit dem 
Ausf iihrungsbeispiel naher erlautert . 

Ein zweiter Ansatz ist darin zu sehen, dali die Information 
tiber ein System in dem Zeitbereich und in dem Spektralbereich 
20 codiert ist. Ein kiinstliches neuronales Netz, welches diesem 
Ansatz Rechnung tragt, weist sogenannte gepulste Neuronen auf 
und ist aus [2] bekannt. 


Ein gepulstes Neuron wird gemali [1] derart modelliert, dafi 
25 das Verhalten eines gepulsten Neurons hinsichtlich einer ex- 
ternen Stimulierung, die im weiteren als Eingangsgrolie be- 
zeichnet wird, durch eine stochastische Dif f erentialgleichung 
des Ito-Typs gemafl folgender Vorschrift beschrieben wird: 

3 0 dV(t) = [ - + Jdt + odW(t) + wdS(t) . (1) 


In der Vorschrift (1) wird mit dW(t) ein Standard-Wiener- 
ProzeB bezeichnet, Eine vorgegebene Konstante t beschreibt 
eine Verzogerung eines Membranpotentials V(t) des modellier- 
35 ten Neurons ohne Eingangsgrolie, die an dem Neuron anliegt. 

Durch das Modell wird ein biologisches Neuron in seinem Ver- 
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halten nachgebildet . Aus diesem Grund wird ein gepulstes Neu- 
ron auch als biologisch orientiertes Neuron bezeichnet. 

Ferner wird mit S(t) eine Kopplung des Neurons mit einem an- 
5 deren Neuron bezeichnet, d.h. es gilt: 

s(t) = ^s(t) = i:4t - ti), (2) 

i 


wobei mit t^ eine Ankommzeit bezeichnet wird, zu der ein ex- 
10 terner Impuls an einem Eingang eines Neurons ankommt. Eine 
soma-synaptische Starke wird durch eine synaptische GroBe w 
modelliert . 


In diesem Modell wird von dem gepulsten Neuron ein Impuls ge- 
15 neriert, wenn das Membranpotential V(t) einen vorgegebenen 

Schwellenwert 0 erreicht. Nach Generierung des Impulses wird 
das Membranpotential V(t) des Neurons auf einen vorgegebenen 
Initialisierungs-Potentialwert V (0) zurtickgeset zt . 

20 Eine zeitliche Folge von Impulsen wird somit gemaB folgender 
Vorschrif t beschrieben : 


tQ, ... , tk, .../ (3) 
25 und geniigt folgender Vorschrif t: 

o(t) = Z - tk). (4) 


Ferner ist aus [1] bekannt, daiJ unter der Annahme des oben 
30 beschriebenen Modells ftir ein gepulstes Neuron ein Unter- 

scheidungswert I (T) gebildet werden kann, mit dem angegeben 
wird, mit welcher VerlaBlichkeit eine Folge von Eingangsgro- 
Jien korrekt klassif iziert wird hinsichtlich der fur ein Trai- 
ning des neuronalen Netzes verwendeten Trainingsdaten . 


35 
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Der Unterscheidungswert I (T) ist abhangig von Impulseri/ die 
von den gepulsten Neuronen innerhalb eines Zeitraums [0; T] 
gebildet werden sowie von einer Trainings-Folge von Eingangs- 
grolien, die dem neuronalen Netz zugefiihrt werden. Der Unter- 
5 scheidungswert I (T) gentigt folgender Vorschrift: 


wobei mit 

10 • s die Eingangsgrofien bezeichnet werden, 
(n) 

• tjn"^ ein Impuls bezeichnet wird, der von einem gepulsten 
Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums 
[0, T] generiert wird, 

• mit kn (n = 1, . . . , N) ein Zeitpunkt bezeichnet wird, zu 
15 dem das gepulste Neuron n den innerhalb des Zeitraums 

[0, T] letzten Impuls generiert hat, 

• N eine Anzahl in dem Neuronalen Netz enthaltener gepulster 
Neuronen bezeichnet wird. 

20 Fur ein Neuronales Netz mit einer Mehrzahl von N Neuronen er- 
gibt sich eine stochastische Dif f erentialgleichung des Ito- 
Typs gemaB folgender Vorschrift beschrieben wird: 



i(t) = I s; ^ 


(5) 




25 


wobei mit 


30 


Vi(t) ein Membranpotential des i-ten Neurons bezeichnet 
wird (i = 1, . . . , N) , 

N eine Anzahl in dem Neuronalen Netz enthaltener Neuro- 
nen bezeichnet wird. 


GR 98 P 239^«luslandsfassung 


6 

• wij jeweils ein Gewicht einer Kopplung zwischen dem i- 
ten und dem j-ten Neuron bezeichnet wird, anschaulich 

eine synaptische Starke zwischen den Neuronen i und j, 

• Aj_j eine vorgebbare axionale Verzogerungszeit eines Si- 

5 gnals zwischen den Neuronen i und j bezeichnet wird, 

• Ii(t) ein externes Stimulierungssignal des Neurons i be- 
zeichnet wird. 

Aus [4] ist ein Trainingsverf ahren fur ein neuronales Netz 
10 bekannt, Bei diesem Verf ahren wird das neuronale Netz mit dem 
Modell eines technischen Systems in einen Regelkreis derart 
eingebunden, daU das neuronale Netz als AusgangsgroJie minde- 
stens eine Stellgrofie an das Modell abgibt und das Modell aus 
der vom Neuronalnetz zugefiihrten Stellgrolie mindestens eine 
15 Regelgrofie erzeugt, die dem neuronalen Netz als Eingangsgrolie 
zugefuhrt wird. Die StellgroBe wird mit einem Rauschen von 
bekannter Rauschverteilung tiberlagert, bevor sie dem Modell 
zugefuhrt wird. Die Gewichte des neuronalen Netzes werden in 
Reaktion auf die durch das aufgepragte Rauschen veranderte 
20 RegelgroBe wie folgt eingestellt: Es wird von einer Kosten- 
funktion bewertet, ob die Gewichtsanderung am Netz eine Ver- 
besserung der Regelgrolie in Bezug auf ein Sollverhalten des 
Modells bewirkt hat und solche Gewichtseinstellungen werden 
durch die Kostenf unktion begiinstigt. 

25 

Der Erfindung liegt das Problem zugrunde, ein Verfahren sowie 
eine Anordnung zum Trainieren eines neuronalen Netzes mit ge- 
pulsten Neuronen anzugeben. Ferner liegt der Erfindung das 
Problem zugrunde, ein Verfahren zur Klassif ikation einer Fol- 
30 ge von EingangsgroBen unter Verwendung eines neuronalen Net- 
zes mit gepulsten Neuronen sowie ein neuronales Netz mit ge- 
pulsten Neuronen anzugeben. 

Die Probleme werden durch die Verfahren und die Anordnung so- 
35 wie durch das neuronale Netz mit den Merkmalen der unabhangi- 
gen Patentanspruche gelost. 
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Ein Verfahren zum Trainieren eines neuronalen Netzes, welches 
gepulste Neuronen enthalt, weist folgende Schritte auf : 

a) fur einen ersten Zeitraum wird das neuronale Netz derart 
trainiert, dali ein Unterscheidungswert maximiert wird, 
wodurch ein maximaler erster Unterscheidungswert gebildet 
wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 
gangsgrofien, die dem neuronalen Netz zugefiihrt werden, 

c) iterativ werden folgende Schritte durchgef iihrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kurzt, 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegangenen Iteration gebildet 
wird, 

- sonst wird das Verfahren beendet und das trainierte 
neuronale Netz ist das neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 

Ein Verfahren zur Klassif ikation einer Folge von Eingangsgro- 
Ben unter Verwendung eines neuronalen Netzes, welches gepul- 
ste Neuronen enthalt und gemaiJ folgenden Schritten trainiert 
worden ist, weist folgende Schritte auf: 

a) fur einen ersten Zeitraum wird das neuronale Netz derart 
trainiert, dali ein Unterscheidungswert maximiert wird, 
wodurch ein maximaler erster Unterscheidungswert gebildet 
wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 
gangsgrofien, die dem neuronalen Netz zugefuhrt werden. 
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c) iterativ werden folgende Schritte durchgef uhrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kiirzt, 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegangen Iteration gebildet 
wird, 

- sonst wird das Verfahren beendet und das trainierte 
neuronale Netz ist das neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist, 

- die Folge von EingangsgroBen wird dem neuronalen Netz 
zugefiihrt , 

d) ein Klassif ikationssignal wird gebildet, mit dem angege- 
ben wird, welcher Art einer Folge von EingangsgroBen die 
zugefiihrte Folge ist . 

Ein neuronales Netz, welches gepulste Neuronen enthalt, ist 
gemaJi folgenden Schritten trainiert worden: 

a) ftir einen ersten Zeitraum wird das neuronale Netz derart 
trainiert, daii ein Unterscheidungswert maximiert wird, 
wodurch ein maximaler erster Unterscheidungswert gebildet 
wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 
gangsgroBen, die dem neuronalen Netz zugefiihrt werden, 

c) iterativ werden folgende Schritte durchgef uhrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kurzt, 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
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einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegangen Iteration gebildet 
wird, 

- sonst wird das Verfahren beendet und das trainierte 
neuronale Netz ist das neuronals Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 

Eine Anordnung zum Trainieren eines neuronalen Netzes, wel- 
ches gepulste Neuronen enthalt, weist einen Prozessor auf, 
der derart eingerichtet ist, dali folgende Schritte durchfuhr- 
bar sind: 

a) fiir einen ersten Zeitraum wird das neuronale Netz derart 
trainiert, dafi ein Unterscheidungswert maximiert wird, 
wodurch ein maximaler erster Unterscheidungswert gebildet 
wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraiims 
gebildet werden sowie von einer Trainings-Folge von Ein- 
gangsgroJien, die dem neuronalen Netz zugefuhrt werden, 

c) iterativ werden folgende Schritte durchgef uhrt : 

- der erste Zeitraiim wird zu einem zweiten Zeitraum ver- 
kiirzt, 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegangenen Iteration gebildet 
wird, 

- sonst wird das Verfahren beendet und das trainierte 
neuronale Netz ist das neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 

Durch die Erfindung wird es moglich, mittels eines neuronalen 
Netzes, welches gepulste Neuronen enthalt, eine zeitliche 
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Folge von Eingangsgrofien zu klassif izieren, wobei gewahrlei- 
stet ist, dafi bei optimierter Klassif ikationssicherheit eine 
minimierte Anzahl von Zeitwerten dem neuronalen Netz zur 
Klassif ikation zugefuhrt werden mtissen. 

Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den 
abhangigen Anspriichen. 

Bevorzugt wird zur Maximierung des ersten Unterscheidungs- 
werts und/oder des zweiten Unterscheidungswerts ein nicht 
gradientenbasiertes Optimierungsverf ahren eingesetzt, bevor- 
zugt ein auf dem ALOPEX-Verf ahren basierendes Optimierungs- 
verf ahren, 

Der erste Unterscheidungswert genugt vorzugsweise folgender 
Vorschrif t : 


I(T) = I 


Xi) 

.(n) 


t(l) ^(1) M) A2) . (2) 


k2 


t(n) An) (N) (N) .(n) 


(7) 


wobei mit 

• s die EingangsgroBen bezeichnet werden, 

• ein Impuls bezeichnet wird, der von einem gepulsten 
Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums 
[0, T] generiert wird, 

• mit kn (n = 1, N) ein Zeitpunkt bezeichnet wird, zu 
dem das gepulste Neuron n den innerhalb des Zeitraums 
[0, T] letzten Impuls generiert hat, 

• N eine Anzahl in dem Neuronalen Netz enthaltener gepulster 
Neuronen bezeichnet wird. 

In einer weiteren Ausgestaltung genugt der erste Unterschei- 
dungswert folgender Vorschrift 
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I(T) 


-J p(out) • ln(p(out))dtP.., dt^^> . dt^^^^ -h 


^ i PjJ p[out|s(:i)) ■ ln(p[out|sW)]dt(l\., dt^\>.,. dt^^^^) 


(8) 


j = l 


mit 


p(out) = X Pjp(^out 
j = l 



(9) 


wobei mit 

• s(^) eine Eingangsgroiie bezeichnet wird, die an das Neurona- 
le Netz zu einem Zeitpunkt j angelegt wird. 


einem Zeitpunkt j die Eingangsgroiie s^-*/ an das Neuronale 
Netz angelegt wird. 


wird, ein Impuls von einem gepulsten Neuron in dem Neurona- 
len Netz generiert wird unter der Bedingung, daB zu einem 

Zeitpunkt j die Eingangsgrofie s^^) an das Neuronale Netz an- 
gelegt wird. 

Die Trainings-Folgen von EingangsgroBen sind bevorzugt gemes- 
sene physikalische Signale, 

Somit sind die Verfahren und die Anordnungen im Rahmen der 
Beschreibung eines technischen Systems, insbesondere zur Be- 
schreibung bzw. Untersuchung eines mehrkanaligen Signals, 
welches durch einen Elektroencephalographen aufgenommen wor- 
den ist und ein Elektroencephalogramm beschreibt, einsetzbar. 




Wahrscheinlichkeit dafur bezeichnet 


Die Verfahren und die Anordnungen konnen ferner zur Analyse 
multivarianter Finanzdaten in einem Finanzmarkt zur Analyse 
okonomischer Zusammenhange eingesetzt werden. 
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Die beschriebenen Verf ahrensschritte konnen sowohl in Soft- 
ware fiir den Prozessor als auch in Hardware, d.h. mittels ei- 
ner Spezialschaltung, realisiert werden. 

Ein Ausfuhrungsbeispiel der Erfindung ist in den Figuren dar- 
gestellt und wird im weiteren naher erlautert. 

Es zeigen 

Figur 1 ein Ablauf diagramm, indem die einzelnen Verfahrens- 
schritte des Ausftihrungsbeispiels dargestellt sind; 

Figur 2 eine Skizze eines Elektroencephalographen und einem 
Patienten fur den ein Elektroencephalogramm erstellt 
wird; 

Figur 3 eine Skizze eines neuronalen Netzes gemaii dem Ausfuh- 
rungsbeispiel; 

Figur 4 eine Skizze, anhand der das Prinzip, welches dem Aus- 
fuhrungsbeispiel zugrunde liegt, dargestellt wird. 

Fig. 2 zeigt einen Patienten 200, an dessen Kopf 201 Sensoren 
202, 203, 204, 205 und 206 angebracht sind zur Aufnahme von 
Gehirnstomen. Von den Sensoren 202, 203, 204, 205, 206 aufge- 
nommene elektrische Signale 207, 208, 209, 210 und 211 werden 
einem Elektroencephalographen 220 iiber eine erste Eingangs- 
/Ausgangsschnittstelle 221 zugeftihrt. Der Elektroencephalo- 
graph 220 weist mehrere Eingangskanale auf. Uber die Ein- 
gangs-/Ausgangsschnittstelle 221, die mit einem Analog- 
/Digital-Wandler 222 verbunden ist, werden die elektrischen 
Signale dem Elektroencephalographen 220 zugefuhrt und in dem 
Analog-ZDigital-Wandler 222 digitalisiert und jedes aufgenom- 
mene elektrische Signal wird als eine Folge von Zeitreihen- 
werten in einem Speicher 223 gespeichert. 
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Somit ist eine Folge von Zeitreihenwerten durch ein Abtastin- 
tervall sowie durch eine Zeitdauer, im weiteren als Zeitraum 
bezeichnet, charakterisiert , wahrend der jeweils ein elektri- 
sches Signal aufgenommen wird. Der Speicher 223 ist mit dem 
Analog-ZDigital-Wandler 222 sowie mit einem Prozessor 224 und 
einer zweiten Eingangs-ZAusgangsschnittstelle 225 uber einen 
Bus 22 6 verbunden, 

Mit der zweiten Eingangs-/Ausgangsschnittstelle 225 ist fer- 
ner uber ein erstes Kabel 227 ein Bildschirm 228, iiber ein 
zweites Kabel 229 eine Tastatur 230 und uber ein drittes Ka- 
bel 231 eine Computermaus 232 verbunden. 

Auf deiti Bildschirm 22 8 werden Ergebnisse der Untersuchung des 
Patienten 200 dargestellt. Uber die Tastatur 230 bzw. die 
Computermaus 232 konnen von einem Benutzer (nicht darge- 
stellt) Eingaben in das System erfolgen. 

Der Prozessor 224 ist derart eingerichtet, daB die im weite- 
ren beschriebenen Verf ahrensschritte durchfuhrbar sind. 

Jeweils eine Folge von Zeitreihenwerten sowie eine Angabe, 
welcher Klasse von Zeitreihenwerten die Folge von Zeitreihen- 
werten zuzuordnen ist, bilden ein Trainingsdatum, 

Eine Vielzahl von Trainingsdaten bilden einen Trainingsdaten- 
satz, mit dem ein im weiteren beschriebenes neuronales Netz 
301 trainiert wird. 

^ig-^ zeigt das neuronale Netz 301 mit gepulsten Neuronen. 

An jeweils ein Eingangsneuron 302, 303, 304 einer Eingangs- 
schicht 305 wird jeweils eine Folge 306, 307, 308 von Zeit- 
reihenwerten angelegt. Jeder angelegter Folge 306, 307, 308 
von Zeitreihenwerten ist im Rahmen des Trainingsverf ahrens 
eine Angabe zugeordnet, ob es sich bei dieser Folge 306, 307, 
308 der Zeitreihenwerte, im weiten als Eingabemuster 306, 
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307, 308 bezeichnet, um ein Eingabemuster 306, 307, 308 einer 
ersten Klasse Oder um ein Eingabemuster 306, 307, 308 einer 
zweiten Klasse handelt. 

Jewells ein Eingangsneuron 302, 303, 304 ist mit einem Zwi- 
schenneuron 309, 310, 311 einer Zwischenschicht 312 jeweils 
liber eine gewichtete Verbindung 313, 314, 315 verbunden. 

Die Zwischenneuronen 309, 310, 311 sind miteinander liber Ver- 
bindungen 316, 317, 318, 319, 320, 321 verbunden, die eben- 
falls gewichtet sind. 

Die Zwischenneuronen 309, 310, 311 sind ferner mit weiteren 
gepulsten Neuronen 322, 323, 324 uber gewichtete Verbindungen 
325, 326, 327, 328, 329 und 330 verbunden. 

Die gepulsten Neuronen weisen jeweils das oben beschriebene 
VerhaLten auf, welches in [2] dargestellt ist. 

e Zwischenneuronen 309, 310, 311 sind mit mehreren Zwi- 
schenneuronen 309, 310, 311 verbunden, jeweils die weiteren 
gepulsten Neuronen 322, 323, 324 sind jeweils mit genau einem 
Zwischenneuron 309, 310, 311 verbunden. Auf diese Weise ist 
es moglich, eine lang reichende Beeinf lussung zwischen Neuro- 
nen eines neuronalen Netzes sowie auch eine lokale Beeinflus- 
sung von Neuronen innerhalb des Neuronalen Netzes zu model- 
lieren. 

Mit den weiteren gepulsten Neuronen 322, 323, 324 ist ein 
Ausgangsneuron 331 uber gewichtete Verbindungen 332, 333 und 
334 verbunden. Von dem Ausgangsneuron 331 wird ein Ausgangs- 
signal 335 gebildet, mit dem angegeben wird, welcher Klasse 
das Eingabemuster 306, 307, 308 zugehorig ist. 

In der Trainingsphase des neuronalen Netzes 301 wird die Aus- 
gangsgroBe 335 mit der dem jeweiligen Eingabemuster zugeord- 
neten Klassif ikationsangabe verglichen und es wird ein Feh- 
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lersignal E gebildet, welches verwendet wird zur Anpassung 
der Gewichte, der in dem Neuronalen Netz 301 vorhandenen Ver- 
bindungen zwischen den Neuronen. 

Als Trainingsverf ahren wird im Rahmen dieses Ausf uhrungsbei- 
spiels das nicht gradientenbasierte Verfahren geiuaU dem 
ALOPEX-Verf ahren eingesetzt. Das Ziel des ALOPEX-Verf ahrens 
ist die Minimierung eines Fehlermalies E unter Berucksichti- 
gung und Adaptierung der Gewichte wj^^ fur einen Trainingsda- 
tensatz . 

Das ALOPEX-Verf ahren wird im weiteren naher erlautert. 

Ein Neuron b ist mit einem Neuron c iiber eine Verbindung ver- 
bunden, die mit dem Gewicht w^^ gewichtet ist. Wahrend einer 
f-ten Iteration wird das Gewicht w^^ gemaii folgender Vor- 
schrif t aktualisiert : 


bene Schrittweite 6 gemal3 folgender Vorschrift bezeichnet 
wird : 


Eine Wahrscheinlichkeit Pbc(f) wird gebildet gemaii folgender 
Vorschrift : 


wbc(f) = wbc(f - 1) + ^bc(f)/ 


(10) 


wobei mit S^c^f) eine kleine positive oder negative vorgege- 



~S mit einer Wahrscheinlichkeit Pbc(f) 
+S mit einer Wahrscheinlichkeit 1 - Pbc(f) ' 


(11) 


Pbc(f) = 


1 


Cbc(f) ' 


(12) 


1 + e 


wobei Cbc(f) gemaB folgender Vorschrift gebildet wird: 


Cbc(f) = Awbc(f) • AE(f) . 


(13) 


GR 98 P 2394Auslandsf assung 


16 

Mit T(f) wird ein vorgebbarer Wert bezeichnet. Mit Aw]3(^(f) 
und AE(f) werden die Gewichtsanderungen Av^i^^if) der Gewichte 
^bc bzw. die Anderung A£(f) des Fehlermafies E wahrend der 
5 vorangegangenen zwei Iterationen bezeichnet gemaU folgenden 
Vorschrif ten: 

Awbc(f) = Wbc(f - 1) + w]3c(f - 2), (14) 

10 AEbc(f) = Ebc(f - 1) + Ebc(f - 2) . (15) 

Der vorgegebene Wert T(f) wird alle F Iterationen aktuali- 
siert gemafi folgender Vorschrif t: 

15 m = zW(fOi (16) 

be f=f-F 

wenn f ein ganzzahliges Vielfaches von F ist, und 
T(f) = T(f - 1) sonst, (17) 

20 wobei mit M eine Anzahl von Verbindungen in dem neuronalen 
Netz 301 bezeichnet wird. 

Gleichung (16) kann vereinfacht werden zu folgender Vor- 
schrif t : 

•25 

^f) = f zWfOl- (18) 
r = f-F 

Das neuronale Netz 301 wird unter Verwendung des Trainingsda- 
tensatzes gemafi dem oben beschriebenen Trainingsver f ahren 
30 trainiert. 


Ferner wird ein erster Unterscheidungswert I (T) fur das neu- 
ronale Netz 301 gemafi folgender Vorschrif t gebildet: 
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I(T) = I 



(19) 


wobei mit 

• s die EingangsgroJien bezeichnet werden, 

• tfji^ ein Impuls bezeichnet wird, der von einem gepulsten 
Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums 
[0, T] generiert wird, 

• mit kn (n = 1, N) ein Zeitpunkt bezeichnet wird, zu 
dem das gepulste Neuron n den innerhalb des Zeitraums 
[0, T] letzten Impuls generiert hat, 

• N eine Anzahl in dem Neuronalen Netz enthaltener gepulster 
Neuronen bezeichnet wird. 

Der erste Unterscheidungswert I (T) entspricht anschaulich der 
Differenz folgender Entropien: 



(20) 


mit 


H(out) = -jp(out) • ln(p(out))dtP...dt^^\..clt^N) 


(21) 


und 


(HUtls))^ = - S PjJ p(outp) . ln(p[out|s(:i))]dtP... dt^\>... dt<^> . 


(22) 


Daitiit ergibt sich der erste Unterscheidungswert I (T) gemaB 
folgender Vorschrift: 
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25 


I(T) = -J p(out) • ln(p(out))dt(^\.. dt^^^... dt^^^ + 

i PjJ p(out|sO)) • lr{p(out|sO))]dtP...d4^>...dt^^> 


s 

j=l 


(23) 


mit 

5 p(out) = ^ Pjp^out|s(^)J , (24) 
j = l 

wobei mit 

• s^^) eine Eingangsgrofle bezeichnet wird, die an das Neurona- 
le Netz 2u einem Zeitpunkt j angelegt wird, 
10 • pj eine Wahrscheinlichkeit dafiir bezeichnet wird, daJi zu 

einem Zeitpunkt j die Eingangsgrolie s^^) an das Neuronale 
Netz angelegt wird, 

eine bedingte Wahrscheinlichkeit dafur bezeichnet 

wird, ein Impuls von einem gepulsten Neuron in dem Neurona- 
15 len Netz generiert wird unter der Bedingung, dafi zu einem 

Zeitpunkt j die EingangsgroBe s(^) an das Neuronale Netz an- 
,gelegt wird. 



t im Rahmen des Trainings des neuronalen Netzes 301 ein ma- 
ximaler erster Unterscheidungswert I (T) ermittelt worden, so 
bedeutet dies, dafi das in dem ersten Zeitraum beobachtete 
Eingangsmuster 306, 307, 308 genug Information enthalt, um 
mit ausreichender VerlaBlichkeit das Eingabemuster zu klassi- 
f izieren. 

Anschaulich wird im Rahmen des Trainings ftlr einen ersten 
Zeitraum [0; T] der erste Unterscheidungswert I(T) gebildet 
(Schritt 101) (vgl. Fig . 1 ) . 

30 In einem weiteren Schritt (Schritt 102) wird ein zweiter 
Zeitraum durch Verktlrzung des ersten Zeitraums gebildet: 
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[0; T' ] , wobei T' < T, 

Fur den zweiten Zeitraum [0; T' ] wird in einem weiteren 
Schritt (Schritt 103) ein zweiter Unterscheidungswert I(T') 
auf die gleiche, oben beschriebene Weise wie der erste Unter- 
scheidungswert I (T) gebildet, 

Der erste Unterscheidungswert I (T) wird mit dem zweiten Un- 
terscheidungswert I(T') verglichen (Schritt 104). 

1st der zweite Unterscheidungswert I(T') gleich dem ersten 
Unterscheidungswert I (T) , so wird ein neuer zweiter Zeitraum 
durch Verkurzung des zweiten Zeitraums [0; T' ] gebildet 
(Schritt 105) und der neue zweite Zeitraum wird als der zwei- 
te Zeitraum angesehen (Schritt 106) . Fur den zweiten Zeitraum 
der neuen Iteration wird wiederum ein zweiter Unterschei- 
dungswert I(T') (Schritt 103) gebildet. 

Anschaulich bedeutet dieses iterative Verfahren, daft der 
Zeitraum, in dem von den gepulsten Neuronen generierte Impul- 
se berucksichtigt werden zur Bildung des Ausgangssignals so- 
lange verkiirzt wird, bis der zweite Unterscheidungswert I(T') 
ungleich dem ersten Unterscheidungswert I (T) ist. 

1st der zweite Unterscheidungswert I(T') kleiner als der er- 
ste Unterscheidungswert, so wird das neuronale Netz 301 als 
optimiertes neuronales Netz betrachtet, welches in der letz- 
ten vorangegangenen Iteration trainiert wurde, bei dem der 
zweite Unterscheidungswert I(T') nicht kleiner als der erste 
Unterscheidungswert I (T) war (Schritt 107). 

Der jeweils berucksichtigte Zeitraum wird in diskrete Unter- 
zeitraume unterteilt, fur die jeweils lediglich ermittelt 
wird, ob wahrend dieses Unterzeitraums ein Neuron einen Im- 
puls generiert hat oder nicht. 
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Auf diese Weise wird der fur das Training benotigte Rechen- 
aufwand erheblich reduziert. 

Zur weiteren Veranschaulichung wird das Prinzip anhand Fig. 4 
noch einmal erlautert. 

Fig. 4 zeigt zwei kontinuierliche Prozesse pi und p2, die 
durch eine Menge von kontinuierlichen Eingangssignalen SI und 
32 gebildet sind. Nach entsprechender , oben beschriebener Di- 
gitalisierung liegen zwei Folgen von Eingangsgrofien vor, die 
Eingabemuster . Die Eingabemuster werden dem trainierten neu- 
ronalen Netz 4 01 in einer Anwendungsphase zugefuhrt, und es 
wird anhand der Zeitreihen fur das trainierte neuronale Netz 
401 anschaulich eine rauiu-zeitliche Codierung der Prozesse 
pi, p2 durchgefiihrt . 

Anhand eines Ausgangssignals 402 wird durch das trainierte 
neuronale Netz 401 angegeben, urn welche Art von ProzeJi es 
sich bei dem Eingabemuster handelt. Das trainierte neuronale 
Netz 401 weist die Eigenschaft auf, dafi zum einen die Zuver- 
lassigkeit der Klassif ikation optimiert ist und zum anderen 
eine minimale Anzahl von Zeitreihenwerten, also ein minimaler 
zweiter Zeitraum 403 erforderlich ist, urn die Klassif ikation 
verlaBlich durchzufiihren , 

Im weiteren werden einige Alternativen zu dem oben beschrie- 
benen Ausf uhrungsbeispiel dargestellt: 

Die Anzahl von Eingangen, gepulsten Neuronen sowie Ausgangs- 
signalen ist im allgemeinen beliebig. Auch die Anzahl ver- 
schiedener Folgen von Zeitreihenwerten im Rahmen der Klassi- 
f ikation sowie des Trainings ist beliebig. Damit ist eine 
Elektroencephalogramm-Analyse fur eine beliebige Anzahl von 
Kanalen zur Tumorcharakterisierung moglich. 
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In diesem Dokviment sind folgende Verof f entlichungen zitiert: 

[1] G* Deco und B. Schiirmann, Information Transmission and 
Temporal Code in Central Spiking Neurons, Physical Re- 
view Letters, Vol. 79, Nr. 23, S. 4697 - 4700, December 
1997 


[2] W, Gerstner, Time structure of the activity in neural 
network models. Physical Review E, Vol. 51, Nr. 1, 
10 S. 738 - 758, January 1995 

[3] K.P. Unnikrishnan and K.P. Venugopal, Alopex: A Correla- 
tion-Based Learning Algorithm for Feedforward and Recur- 
rent Neural Networks, S. 471 - 490, Neural Computation, 
15 Vol. 6, 1994 


[4] 
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Patent anspruche 

1. Verfahren zum Trainieren eines Neuronalen Netzes, welches 
gepulste Neuronen enthalt, 

a) bei dem fur einen ersten Zeitraum ([0;T]) das Neuronale 
Netz derart trainiert wird/ daB ein Unterscheidungswert 
maximiert wird, wodurch ein maximaler erster Unterschei- 
dungswert gebildet wird, 

b) bei dem der Unterscheidungswert abhangig ist von Impul- 
sen, die von den gepulsten Neuronen innerhalb des ersten 
Zeitraums gebildet werden sowie von einer Trainings-Folge 
von EingangsgrolJen, die dem Neuronalen Netz zugefuhrt 
werden, 

c) bei dem iterativ folgende Schritte durchgefiihrt werden: 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kurzt, 

- fiir den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegegangenen Iteration gebil- 
det wird, 

- sonst wird das Verfahren beendet und das trainierte 
Neuronale Netz ist das Neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist, 

2. Verfahren nach Anspruch 1, 

bei dem zur Maximierung des ersten Unterscheidungswerts 
und/oder des zweiten Unterscheidungswerts ein nichtgradien- 
tenbasiertes Optimierungsverf ahren eingesetzt wird. 


3. Verfahren nach Anspruch 2, 

bei dem das Optimierungsverf ahren auf dem ALOPEX-Verf ahren 
basiert . 
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4. Verfahren nach einem der Ansprtiche 1 bis 3, 

bei dem der erste Unterscheidungswert I (T) folgender Vor- 

schrif t genugt : 


wobei mit 

• s die Eingangsgrofien bezeichnet warden, 

• ein Impuls bezeichnet wird, der von einem gepulsten 
Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums 
[0, T] generiert wird, 

• kn (n = 1, N) ein Zeitpunkt bezeichnet wird, zu dem 
das gepulste Neuron n den innerhalb des Zeitraums [0, T] 
letzten Impuls generiert hat, 

• N eine Anzahl in dem Neuronalen Netz enthaltener gepulste 
Neuronen bezeichnet wird. 

5. Verfahren nach Anspruch 4, 

bei dem der erste Unterscheidungswert I (T) folgender Vor- 
schrift genugt: 


i(t) = I 



I(T) = -j p(out) . ln(p(out))dt(l>... dt^^>... dt^^> + 

^ i PjJ p[out|sO)) • ln(p[out|sO)]]dtJ^>... dt^^^>... dt^^> 


mit 



3 = 1 


wobei mit 
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• s^-^^ eine EingangsgroBe bezeichnet wird, die an das Neurona- 
le Netz zu einem Zeitpunkt j angelegt wird. 


einem Zeitpunkt j die Eingangsgrofie s^-^^ an das Neuronale 
Netz angelegt wird. 


wird/ daJi ein Impuls von einem gepulsten Neuron in dem Neu- 
ronalen Netz generiert wird unter der Bedingung, daB zu ei- 
nem Zeitpunkt j die Eingangsgrofie s(^) an das Neuronale Netz 
angelegt wird. 

6. Verfahren nach einem der Ansprtiche 1 bis 5, 

bei dem die Trainings-Folge von Eingangsgroflen gemessene phy- 
sikalische Signale sind, 

7. Verfahren nach Anspruch 6, 

bei dem die Trainings-Folge von Eingangsgroiien gemessene Si- 
gnale eines Electroencephalogramms sind. 

8. Verfahren zur Klassif ikation einer Folge von Eingangsgro- 
Ben unter Verwendung eines Neuronalen Netzes, welches gepul- 
ste Neuronen enthalt und gemaB folgenden Schritten trainiert 
worden ist: 

a) fur einen ersten Zeitraum wird das Neuronale Netz derart 
trainiert, daB ein Unterscheidungswert maximiert wird, 
wodurch ein maximaler erster Unterscheidungswert gebildet 
wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 
gangsgroBen, die dem Neuronalen Netz zugefiihrt werden, 

c) iterativ werden folgende Schritte durchgef uhrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kurzt, 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet. 




Wahrscheinlichkeit dafiir bezeichnet 
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- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert/ so erfolgt eine neue Iteration mit 
einem neuen zweiten ZeitrauiU/ der durch Verkurzung des 
zweiten Zeitraums der vorangegegangenen Iteration gebil- 
det wird, 

- sonst wird das Verfahren beendet und das trainierte 
Neuronale Netz ist das Neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist, 

- bei dem die Folge von Eingangsgrofien dem Neuronalen Netz 
zugefuhrt wird, 

- bei dem ein Klassif ikationssignal gebildet wird, mit dem 
angegeben wird, welcher Art einer Folge von Eingangsgrolien 
die zugefiihrte Folge ist. 

9. Verfahren nach Anspruch 8, 

bei dem die Trainings-Folge von Eingangsgrolien und die Folge 
von Eingangsgrolien gemessene physikalische Signale sind. 

10. Verfahren nach Anspruch 9, 

bei dem die Trainings-Folge von Eingangsgrolien und die Folge 
von Eingangsgrolien gemessene Signale eines Electroencephalo- 
gramms sind. 

11. Neuronales Netz, welches gepulste Neuronen enthalt und 
gemali folgenden Schritten trainiert worden ist: 

a) fur einen ersten Zeitraum wird das Neuronale Netz derart 
trainiert, dafl ein Unterscheidungswert maximiert wird, 
wodurch ein maximaler erster Unterscheidungswert gebildet 
wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 
gangsgrolien, die dem Neuronalen Netz zugefuhrt werden, 

c) iterativ werden folgende Schritte durchgef uhrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kurzt. 
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- fiir den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegegangenen Iteration gebil- 
det wird, 

- sonst wird das Verfahren beendet und das trainierte 
Neuronale Netz ist das Neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 

12. Neuronales Netz nach Anspruch 10, eingesetzt zur Klassi- 
fikation eines physikalischen Signals. 

13. Neuronales Netz nach Anspruch 10, eingesetzt zur Klassi- 
fikation eines Signals eines Electroencephalogramms . 

14- Anordnung zum Trainieren eines Neuronalen Netzes, welches 
gepulste Neuronen enthalt, 

mit einem Prozessor, der derart eingerichtet ist, daB folgen- 
de Schritte durchfuhrbar sind: 

a) fiir einen ersten Zeitraum wird das Neuronale Netz derart 
trainiert, dafi ein Unterscheidungswert maximiert wird, 
wodurch ein maximaler erster Unterscheidungswert gebildet 
wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 
gangsgroBen, die dem Neuronalen Netz zugefuhrt werden, 

c) iterativ werden folgende Schritte durchgef uhrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kiirzt, 

- fiir den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
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einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegegangenen Iteration gebil- 
det wird/ 

- sonst wird das Verfahren beendet und das trainierte 
Neuronale Netz ist das Neuronale Netz der letzten Itera- 
tion/ bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 

IS.Anordnung nach Anspruch 14, eingesetzt zur Klassif ikation 
eines physikalischen Signals. 

IS.Anordnung nach Anspruch 14, eingesetzt zur Klassif ikatika- 
tion eines Signals eines Electroencephalograinins . 
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Zusammenf assung 

Verfahren zum Trainieren eines neuronalen Netzes, Verfahren 
zur Klassifikation elner Folge von Eingangsgrofien unter Ver- 
wendung eines neuronalen Netzes , neuronales Netz und Anord- 
nung ztom Trainieren eines neuronalen Netzes 

Fur einen ersten Zeitrauia wird das neuronale Netz derart 
trainiert, daJ5 ein Unterscheidungswert maximiert wird, wobei 
der Unterscheidungswert abhangig ist von Impulsen, die von 
den gepulsten Neuronen innerhalb des ersten Zeitraums gebil- 
det warden. Iterativ wird der erste Zeitraum so lange ver- 
kurzt und fur den zweiten Zeitraum ein zweiter Unterschei- 
dungswert gebildet bis der zweite Unterscheidungswert kleiner 
ist als der maximale Unterscheidungswert. Das trainierte neu- 
ronale Netz ist das neuronale Netz der letzten Iteration, bei 
der der zweite Unterscheidungswert gleich dem maximalen Un- 
terscheidungswert ist . 
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V. Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability; 
citations and explanations supporting such statement 

1 . Statement 




Novelty (N) 

Claims 

1 

-16 VES 


Claims 


NO 

Inventive step (IS) 

Claims 

1 

-16 YES 


Claims 


NO 

Industrial applicability (lA) 

Claims 

1 

YES 


Claims 


NO 


Citations and explanations 


1. The invention relates to the training of a neural 
network (NN) with pulsed neurons and to the use of 
same for classifying a series of input variables. 


2. The present report makes reference to the following 
documents : 


Dl: US-A-5 675 504 (J. SERODES et al.) 

D2: A.J. SURPCAN et al.: "Prediction by neural 

network methods compared for energy control 
problems'', PROCEEDINGS OF THE AMERICAN POWER 
CONFERENCE, 58*^" ANNUAL MEETING 1996, TECHNOLOGY 
FOR COMPETITION AND GLOBALIZATION, Illinois 
Inst. Technol., Chicago, IL, USA, 9-11 April 
1996, pages 231-236, Vol. 1, XP000879471 

D3: J. GIA-SHUH et al.: "Intelligent Stock Trading 
System with Price Trend Prediction and Reversal 
Recognition Using Dual-Module Neural Networks" , 
APPLIED INTELLIGENCE: THE INTERNATIONAL JOURNAL 
OF ARTIFICIAL INTELLIGENCE, NEURAL NETWORKS, AND 
COMPLEX PROBLEM-SOLVING TECHNOLOGIES, SEPT. 
1993, NETHERLANDS, Vol. 3, No. 3, pages 225-248, 
XP000878752, ISSN: 0924-669X 

D4 : R.S. ZEBULUM et al . : "Short-Term Load 
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.Forecasting Using Neural Nets", FROM NATURAL TO 
ARTIFICIAL NEURAL COMPUTATION, PROCEEDINGS OF 
IWANN 95 - INTERNATIONAL WORKSHOP ON ARTIFICIAL 
NEURAL NETWORKS, Malaga-Torremolinos , Spain, 7-9 
June 1995, page 1001-1008, XP000878823 1995, 
Berlin, Germany, Spr inger-Verlag, Germany, ISBN: 
3-540-59497-3 
D5: US-A-5 630 023 (OTEKI SUGITAKA) . 

3. It is generally known from the prior art to vary the 

size of the input data set with which a neural net 
(NN) is trained in such a way that the duration of 
training and/or recognition quality or reliability 
of the prediction is optimised. 

Dl discloses a method for training a back- 
propagation neural network (see column 6, lines 34- 
36) , wherein the size of the training data set is 
increased or reduced (see column 5, lines 48-52, and 
column 6, lines 61-62). The NN selected as the 
optimally trained NN is that which was trained with 
the training data set which generated the lowest 
root mean square error (column 7, lines 6-8). 

To improve training speed and reliability of the 
prediction, D2 uses a plurality of training 
algorithms, including the ALOPEX algorithm used in 
the invention (see paragraph entitled "The ALOPEX 
algorithm", pages 233 and 234). According to D2 a 
larger training data set does not produce better and 
more rapid results (page 234, right-hand column, 
lines 19-22; page 235, left-hand column, lines 30- 
35) . 

Documents D3 and D4 both disclose a method of 
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training a back-propagation neural network (D3, page 
227, left-hand column, lines 10-12; D4, page 1004, 
lines 23-24) wherein two training data sets each are 
selected from the available historical input data 
set by two time windows of different sizes (D3, page 
227, left-hand column, lines 16-29; D4 , page 1003, 
lines 7-14). Moreover, according to D3 both time 
windows undergo iterative time-shifting during 
training (page 232, Figure 3, and page 233, left- 
hand column, lines 8-16) . 


Document D5 discloses only a hierarchical neural 
network in which a positive and a negative error 
signal are used to adjust the coupling coefficient 
of the neurons (see D5, beginning of Claim 1), 
wherein the network converges more rapidly during 
learning (see paragraph between columns 11 and 12) . 

4 . The invention addresses the problem of providing an 
improved ALOPEX method and a system for training a 
neural network with pulsed neurons wherein the 
degree of computing required for training is reduced 
significantly. 


A further object of the invention is to use the 
neural network trained in this way for the 
classification of a sequence of input variables, it 
having been ensured that if classification security 
is optimised the neural network has to be supplied 
with a minimised number of time values. 


The first object is achieved by a method as per 
Claim 1 and a system as per Claim 14, according to 
which a neural network as per Claim 11 is trained. 
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. According to the claims specified above, the neural 
network is trained for a first period in such a way 
that a discriminator value is maximised which is 
dependent on pulses formed by the pulsed neurons 
within the first period. Said first period is 
reduced iteratively until the second discriminator 
value is smaller than the maximum discriminator 
value. The trained neural network is the neural 
network of the last iteration in which the second 
discriminator value equals the maximum discriminator 
value . 


The second object of the invention is achieved as 
per Claim 8, according to which the neural network 
trained as per the invention distinguishes between 
different continuous processes (pi, p2 ) . The trained 
neural network uses an output signal (402) to 
indicate which type of process corresponds to which 
input data set. 


5. The prior art does not disclose the above type of 

solution. Independent Claims 1, 8, 11 and 14 should 
therefore be considered novel and inventive (PCT 
Article 33 (2) and (3) ) . 


Dependent Claims 2-7, 9, 10, 12, 13, 15 and 16 
disclose other design features of the invention as 
per the corresponding independent claims and 
therefore meet the requirements for novelty and 
inventive step of PCT Article 33(2) and (3). 


The present invention as per Claims 1-16 is clearly 
industrially applicable (PCT Article 33(4)). 
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VII. Certain defects in the international application 

The following defects in the form or contents of the international application have been noted: 

6. The features of the claims are not followed by 
reference signs placed between parentheses (PCT 
Rule 6.2(b)). Of the documents cited above (Dl to 
D5) , D5 is closest to the invention, since it 
discloses the general concept of iteratively 
modifying the size of the training data set. 
However, Dl is not prejudicial to the novelty of 
the invention per se because the criterion of Dl, 
wherein iteration is stopped, differs from the 
invention. Moreover, according to Dl the training 
data set is not only reduced in size (as disclosed 
in the invention) but possibly also increased. 

Although the prior art is extensively mentioned in 
the application, it would have been appropriate for 
the description likewise to cite document Dl and 
briefly to indicate the relevant prior art 
disclosed therein (PCT Rule 5.1(a) (ii)). 
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METHOD FOR TRAINING A NEURAL NETWORK, METHOD FOR THE 
CLASSIFICATION OF A SEQUENCE OF INPUT QUANTITIES UPON 
EMPLOYMENT OF A NEURAL NETWORK, NEURAL NETWORK AND 
ARRANGEMENT FOR THE TRAINING OF A NEURAL NETWORK 

5 The^nvention is directed to a method for training a neural network, to a 

method for the classification of a sequence of input quantities upon employment of a 
neural network as well as to a neural network and an arrangement for training a neural 

^^y'^^^ ' ^ '^^^^^^^^^ A neural network comprises neurons that are at least partially connected to 
10 one another. Input neurons of the neural network are supplied with input signals as 
input quantities supplied to the input neurons. The neural network usually comprises 
a plurality of layers. A respective neuron generates-a signal dependent on input 
quantities supplied to a neuron of the neural network and on an activation function 
provided for the neuron,Tsai€)signal being in turn supplied to neurons of a further 
15 layer as input quantity according to a prescribable weighting. An output quantity 

A 

dependent on quantities that are supplied to the output neuron of neurons of the 
preceding layer is generated in an output neuron in an output layer. There are 
currently essentially two approaches in view of the questions as to the form in which 
information is stored in a neUral network. 

2 0 A first approach assumes that the information in a neural network is 

encoded in the spectral domain. Given this approach, a chronological sequence of 
input quantities is encoded such that a respective input neuron is provided for each 
time row value of a chronological sequence of the input quantities, the respective time 
row value being applied to this input neuron. 

2 5 Given a neural network that is designed according to this approach, a 

hyperbolic tangent (tanh) is usually employed as activation function. 

^ a_ 
This first type of neural network is referred to below as static neural 

A 

network. 


What is particularly disadvantageous about this approach is that it is not 
possible with a static neural network to explicitly consider a dynamics of a process 
subject to a technical system in the internal coding of the sequence of input quantities. 

The Time Delay Neural Networks (TDNN) known fromjt^ttemptto*':^ ^^^^^ 
5 counter this disadvantage in that, given a plurality of sequences of input quantities, a^^ST/f -T' 
respective input neuron is provided for each sequence and for each time row value. ^' 
This approach particularly exhibits the disadvantage that the dimension of the input 
space - represented by the plurality of input neurons ~ increases exponentially with 
an increasing plurality of different sequences of input quantities to be taken into 
10 consideration. 

An increasing plurality of neurons in the neural network, moreover, 
involves an increased training outlay upon employment of a plurality of training data 
that increases with an increasing plurality of neurons. A training of a static neural 
network becomes highly calculation-intensive under these conditions or, respectively, 
1 5 can practically no longer be implemented. 

A gradient-based training method, for example the back-propagation 
method, is usually utilized for training a static neural network. 
^//^ /^'^^^'^^'^^^^^ f\ j^^^^^^ discloses a training method for a static neural network that is 
^ referred to as the ALOPEX method. In this method, the training of a static neural 

C^f^^hM^^2Q network is viewed as an optimization problem. In this case, the goal of the 
^''^'''^'^^^^r^ optimization is a n^nimization of a error criterion E taking weightings that are present 

.^^^ ^ static neural network and with which the connections between neurons are 
/^^^^^^^^ weighted into consideration for a predetermined tr^ung data set with training data. 

jiJ<^S'^^' A training datum is a tuple that|^...j)|jiput quantities, for example state 

2 5 quantities of a technical system or, respectively, boundary conditions that a technical 

system is subject to and that are supplied to a technical system as well as an output 
quantity determined under the boundary conditions and that the technical system 
forms for the input quantities. 

The ALOPEX method shall be explained in greater detail later in 

3 0 conjunction with the exemplary embodiment. 


A second approach can be seen therein that the information about a system 
is encoded in the time domain and in the spectral domain. An artificial neural 
network that does justice to this approach comprises what are referred to as^ulsed 
neurons and is known from(r2l) f^^^^^^T^^. ^ T^^T^^^^^^^ ^TZ^^T'?^'^^ 
A" ' 5, ' According Xm)e% a pulsed neuron is modelled such that the behavior of a 

pulsed neiuron with respect to an external stimulation, which is referred to below as 


4/ ) ? • 


(.input quantity, is described by a stochastic differential equation of the ltd type 
according to the following rule: 

dV(t) = ^- ^ + //jdt + odw(t) + wdS(t). (1) 

In the rule (1), dW(t) references a standard Wiener process. A 
1 0 predetermined constant x describes a delay of a membrane potential V(t) of the 

^ modelled neuron without input quantity that is adjacent at the neuron. The model 

K 

simulates the behavior of a biological neuron. For this reason, a pulsed neuron is also 

^ referred to as biologically oriented neuron. 

K 

Further, S(t) references a coupling of the neuron with another neuron, i.e. 
15 the following applies: 

s(t) = ^s(t) = 2:<j(t - ti). (2) 

i 

whereby t^ references an arrival time at which an external impulse arrives at an input 
of a neuron. A soma-synaptic intensity is modelled by a synaptic quantity w. 

In this model, the pulsed neuron generates a pulse when the membrane 
potential V(t) reaches a predetermined threshold 0. After the pulse is generated, the 
2 0 membrane potential V(t) of the neuron is reset to a predetermined initialization 
potential value V(0). 

A time sequence of pulses is thus described according to the following 

rule: 


(3) 


and satisfies the following rule: 
o(t) = Z<5(t-tk). 


It is also known fi-om|}J)that, given the assumption of the above- 
described model for a pulsed neuron, a discrimination value I{T) can be fomied that 
indicates the dependability with which a sequence of input quantities is correctly 
classified in view of the training data employed for a training of the neural network. 

The discrimination value I(T) is dependent on pulses that are formed by 
the pulsed neurons within a time span [0; T] as well as on a training sequence of input 
quantities that are supplied to the neural network. The discrimination value I(T) 
satisfies the following rule: 


I(T) = I 


1 0 whereby 


't?> xS^ t^^> t{2) t(2) J2) 


k2' 


t(n) (n) ^(n) ^(n) .(n) ^(n) 

/ / *»m / $ ky^ ' *** ' 1 ' *** ' ni ' ••• ' kj^ 


(5) 


• s references the input quantities, 

• references a pulse that is generated by a pulsed neuron n at a time m 
within a time span [0, T], 

k„ (n = 1, N) references a point in time at which the pulsed neuron n 
15 has generated the last pulse within the time span [0, T], 

• N references a plurality of pulsed neurons contained in the neural network. 
A stochastic differential equation of the Ito type derives for a neural 

network with a plurality of N neurons described according to the following rule: 


i(t) = [- + ujdt + adWi(t) + 

j = l k ^ 


(6) 


whereby 

Vj (t) references a membrane potential of the i* neuron (i = 1, N), 
N references a plurality of neurons contained in the neural network, 
Wij respectively references a weighting of a coupling between the i* and 
5 the j'^ neuron, clearly a synaptic intensity between the neurons i and j, 

A^j references a prescribable axional delay of a signal between the neurons 
iandj, 

• Ii(t) references an extemal stimulation signal of the neuron i. 

[p^iscloses a training method for a neural network. Given this method, 
10 the nem^l^twork is linkedf^KJ^in a control circuit with the model of a technical 

system that the neural network outputs at least one manipulated variable to the model 
as^output quantity, and the model generates at least one reg^ting variable from the 
manipulated quantity supplied by the neural network,^^at least one regulating 


^ variable being supplied to the neural network as input quantity. The regulating 
15 variable is superimposed with a noise having a known noise distribution before it is 
supplied to the model. As a reaction to the regulating variable modified by the 
impressed noise, the weightings of the neural network are set as follows: A cost 
function evaluates whether the change in weighting at the network has effected an 
improvement of the regulating variable with respect to a rated behavior of the model, 
2 0 and such weightings ^g^favored by the cost function. p-^^^c-^^^^ ^ 

jp cA^^ / ^ The^ventionis^ on ^c problem of 3pccifying |^ method as well as 
an arrangement for traiiiing a neural network having pulsed neurons. The invention is 


also based onjpe-proble m of spo ei^dng^a method for the classification of a sequence 
of input quantities upon employment of a neural network having pulsed neurons as 
2 5 well as specifying a neural network having pulsed neurons. 

The problems are solved by the methods and the arrangement as well as 


by the neural network having ^leJ eature s of the independent pat e nt - claim s^ ^^^^^^^^ ^ 

A method for training a neural network that contains pulsed neurons^ ^^^::f^^ 
comprises the following steps: 
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a) the neural network is trained/^ttc^for a first time span\^that a 
discrimination value is maximized, as a result whereof a maximum first 
discrimination value is formed; 

b) the discrimination value is fomied dependent on pulses that are fomied by 
the pulsed neurons within the first time span as well as on a training 
sequence of input quantities that are supplied to the neural network; 

c) the following steps are interactively implemented: 

— the first time span is shortened to form a second time span, 

— a second discrimination value is formed for the second time span, 
~ when the second discrimination value is the same as the first 
discrimination value, then a new iteration ensues with a new second time 
span that is formed by shortening the second time span of the preceding 
iteration, 

~ otherwise, the method is ended and the trained neural network is the 

neural network of the last iteration wherein the second discrimination 

value is the same as the first discrimination value. 

A method for the classification of a sequence of input quantities upon 
employment of a neural network that contains pulsed neurons and was trained 
according to the following steps comprises the following steps: .^.J 

a) the neural network is trained ^ieSybr a first time span! that a 
discrimination value is maximized, as a result whereof a maximum first 
discrimination value is formed; 

b) the discrimination value is formed dependent on pulses that are formed by 
the pulsed neurons within the first time span as well as on a training 
sequence of input quantities that are supplied to the neural network; 

c) the following steps are interactively implemented: 

~ the first time span is shortened to form a second time span, 

— a second discrimination value is formed for the second time span, 

— when the second discrimination value is the same as the first 
discrimination value, then a new iteration ensues with a new second time 


span that is formed by shortening the second time span of the preceding 
iteration, 

— otherwise, the method is ended and the trained neural network is the 
neural network of the last iteration wherein the second discrimination 

5 value is the same as the first discrimination value, 

~ the sequence of input quantities is supplied to the neural network; 
d) a classification signal is formed that indicates what kind of sequence of 

input quantities the supplied sequence is. 

A neural network that contains pulsed neurons has been trained according 
10 to the following steps: ^^^Azi^ 

a) the neural network is trained(^ieflffor a first time span|that a 
discrimination value is maximized, as a result whereof a maximum first 
discrimination value is formed; 

b) the discrimination value is formed dependent on pulses that are formed by 
15 the pulsed neurons within the first time span as well as on a training 

sequence of input quantities that are supplied to the neural network; 

c) the following steps are interactively implemented: 

~ the first time span is shortened to form a second time span, 

— a second discrimination value is formed for the second time span, 
2 0 ~ when the second discrimination value is the same as the first 

discrimination value, then a new iteration ensues with a new second time 
span that is formed by shortening the second time span of the preceding 
iteration, 

— otherwise, the method is ended and the trained neural network is the 
2 5 neural network of the last iteration wherein the second discrimination 

value is the same as the first discrimination value. 

An arrangement for training a neural network that contains pulsed neurons 
comprises a processor that is configured such that the following steps can be 
implemented: 
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a) the neural network is trained §ue^ for a first time span lhat a 
discrimination value is maximized, as a result whereof a maximum first 
discrimination value is formed; 

b) the discrimination value is formed dependent on pulses that are fomied by 
the pulsed neurons within the first time span as well as on a training 
sequence of input quantities that are supplied to the neural network; 

c) the following steps are interactively implemented: 

— the first time span is shortened to forai a second time span, 

— a second discrimination value is formed for the second time span, 
~ when the second discrimination value is the same as the first 
discrimination value, then a new iteration ensues with a new second time 
span that is formed by shortening the second time span of the preceding 
iteration, 

— otherwise, the method is ended and the trained neural network is the 
neural network of the last iteration wherein the second discrimination 
value is the same as the first discrimination value. 
The invention makes it possible to classify a time sequence of input 

quantities with a neiu^l network what contains pulsed neurons, whereby it is assured 
that, given optimized classification dependability, a minimized plurality of time 
values must be supplied to the neural network for classification. / -^"^'-^^'^^^ 

Preferred developments of the invention tierive^xjm the dependent claims. J 
An optimization method that is not gradient based is preferably employed^ 
for the maximization of the first discrimination value and/or the second discrimination 
value, preferably an optimization method based on the ALOPEX method. 

The first discrimination value preferably satisfies the following rule: 


I(T) = I 


s/ 


AD M) M) A2) . (2) ^(2) 


t(n) M 


(n) 


k2' 

An) M 


(7) 


whereby 

s references the input quantities. 


references a pulse that is generated by a pulsed neuron n at a time m 
within a time span [0, T], 

k„ (n = 1, N) references a point in time at which the pulsed neuron n 
has generated the last pulse within the time span [0, T], 
N references a plurality of pulsed neurons contained in the neural network. 
In a further development, the first discrimination value satisfies the 
following rule: 

I(T) = -/p(out) . ln(p(out))dtP...d4l^\,,dt^^^ + 

- i PiS P(outj.0)) . l,(f(out|s(3))]dtP... dt«... dt*) ' " 


ujith 


p(out) = 2 Pjp(out[sO)) , 


(9) 


whereby 


• s^^ ^ references an input quantity that is applied to the neural network at a 

timej, 

Pj references a probability that the input quantity s^^ ^ is applied to the 
neural network at a pint in time j, 

p(out|s^j^ references a conditioned probability that a pulse is generated 
by a pulsed neuron in the neural network under the condition that the input 
quantity s^^ ^ is applied to the neural network at a point in timej. 
The training sequences of input quantities are preferably measured 
physical signals. 

The methods and the arrangements can thus be utilized in the framework 
of the description of a technical system, particularly for describing or, respectively, 
investigating a multi-channel signal that has been registered by an 
electroencephalograph and describes an electroencephalogram. 
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The methods and the arrangements can also be utilized for the analysis of 
multi-variant financial data in a financial market for the analysis of economic 
relationships. 

The described method steps can be realized both in software for the 
5 processor as well as in hardware, i.e. with a specific circuit. 

^ An exemplary embodiment of the invention is shown in the Figures and is 
explained in greater detail below. 
^Sb own ar e\^ 

Figure IJ^flowchart wherein the individual method steps of the exemplary 
1 0 embodiment Represented- y - y - 

Figure 2 j sketcn g |an electroencephalograph aCnd a patient for whom a 

electroencrohalogram is produced; 
Figure 3 f fa^^ketcBjof a neural ne^^S^^ccordi^ to the exemplary embodiment; 
Figure 4 (^.sket^on the basis whereof the principle underlying the exemplary 
15 ^ embodiment is shown. 


Figure 2 shows a patient 200 to whose head 201 sensors 202, 203, 204, 
205 and 206 are attached for the registration of brain ^omata [sic; should proba hlyj 
Fca^urrent^ Electrical signals 207, 208, 209, 210 and 21 1 picked up by the 
sensors 202, 203, 204, 205, 206 are suppUed to an electroencephalograph 220 via a 
2 0 first input/output interface 221. The electroencephalograph 220 comprises a plurality 
of input channels. Via the input/output interface 221, which is connected to an 
analog-to-digital converter 222, the electrical signals are supplied to the 
electroencephalograph 220 and digitalized in the analog-to-digital converter 222, and 
each registered electrical signal is stored in a memory 223 as a sequence^^ime row 

2 5 values. ^ ^ 

A sequence of time row values is thus characterized by a sampling interval 

as well as by a time duration, referred to below as time span, during which a 

A 

respective electrical signal is registered. The memory 223 is connected to the analog- 
to-digital converter 222 as well as to a processor 224 and a second input-output 

3 0 interface 225 via a bus 226. 
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A picture screen 228 (via a first cable 227), a keyboard 230 (via a second 
cable 229) and a computer mouse 232 (via a third cable) are also connected to the 
second input/output interface 225. 

Results of the examination of the patient 200 are shown on the picture 
5 screen 228. A user (not shown) can make inputs into the system via the keyboard 230 
or, respectively, the computer moose 232. 

The processor 224 is configured such that the method steps described later 
can be implemented. ^ j 

A respective sequence of time row values as well as ^particular^aoout the 
1 0 class of time row values to which the sequence of time row values is to be allocated 
form a training datum. 

A plurality of training data fomi a training data set with which a neural 
network 301 described later is trained. 

Figure 3 shows the neuralnetwork 301 with pulsed neurons. 
15 A sequence 306, 307/308 of time row values is respectively applied to a . 

respective input neuron 302, 303a/504 of an input layer 305. A particulaijas to 0 
whether the sequence 306, of the time row values, broadly referred to as 

input pattern 306, 307^308, is a matter of an input pattern 306, 307, 308 of a first 
class or a matter of an input pattern 306, 307/;m08 of a second class is allocated to 
2 O each applied sequence 306, 307^i08oftime row values in the framework of the 
training method. 

A respective input neuron 302, 303^04 is respectively connected to an 
interaiediate neuron 309, 3 10/i3 1 1 of an intermediate layer 3 12 via a weighted 
connection 313, 31^5^^ J, 

2 5 The intermediate neiu*ons 309, 3 1 11 are connected to one another via 

connections 316, 317, 318, 319, 32(K321 that are likewise weighted. 

The intermediate neurons 309, 3 10^1 1 are also connected to fiirther 
pulsed neurons 322, 323^324 via weighted connections 325, 326, 327, 328, 329 and 
330. ^ 

3 0 The pulsed neurons respectively comprise the above-described behavior 

that is presented in([2']|r^ /-^^->^-'-^-'^-'^ ^ ^ 'jl^^^O:^, "7l_^ .i^,.^ ^ 
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. The intermediate neuronsj 309, 3 1 0^ 1 1 are connected to a plurality of 

'^^termediate neurons 309, 3 10^1 1 ; the respective, further pulsed neurons 322, 323^<^ 
324 are respectively connected to exactly one intermediate neuron 309, 310^5Tl!Tir^ 
this way, it is possible to model a far-reaching influencing between neurons of a 
5 neural network as well as a local influencing of neurons within the neural network. 

An output neuron 331 is connected to the further pulsed neurons 322, 223q ^ 
324 via weighted connections 332, 333 and 334. The output neuron 33 1 forms an ' 
output signal 335 that indicates the class to which the input pattern 306, 30^08^ 
belongs. 

10 In the training phase of the neural netwgrk 301, the output quantity 335 is 

compared to the classification particular^4ll(3&ted to the respective input pattern, and 
an error signal E is formed that is employed for adapting the weightings of the 
connections between the neurons present in the neural network 301. 

The method according to the ALOPEX method, which is not gradient 

15 based, is utilized as the training method in the firamework of this exemplary 

embodiment. The goal of the ALOPEX method is the minimization of an error 
criterion E taking into consideration and adapting the weightings w^^ for a training 
dataset. 

The ALOPEX is explained in greater detail below. 
2 0 A neuron b is connected to a neuron c via a connection that is weighted 

with the weighting w^^. During an f** iteration, the weighting w^^. is updated according 
to the following rule: 

wbc(«) = wbc(f - 1) + ^hc(^)^ (10) 

whereby 5bc(f) references a small positive or negative, predetermined step width 5 
according to the following rule: 

Sy.r.(f) = P~*^"'^ Pbc(f) 

^ [+<y ujith o probobilitv 1 - Pbc(f) * 
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A probability p^^ (f) is formed according to the following rule: 

' lEM' 

1 + e ) 

whereby C^c (f) is formed according to the following rule: 
Cbc(f) = Awbc(f) • AE(f). j^3j 

T(f) references a prescribable value. Aw^ (f) and AE(£) reference the weighting 
changes Aw^^ (f) of the weightings w^^ or, respectively, the change AE(f) of the error 
criterion during the preceding two iterations according to the rules: 

Awbc(^) = Wbc(f - 1) + Wbc(f - 2), (14) 
AEbc(f) = Ebc(f - 1) + Ebc(f - 2) . (15) 

The predetermined value T(f) is updated every F iterations according to the following 
rule: 


b c r=f-F 


(16) 


when f is a whole multiple of F, and 
T(f) = T(f - 1) otherujise, (17) 

whereby M references a plurality of connections in the neural network 301. 
Equation (16) can be simphfied to form the following rule: 

T(f) = | zWf*)!- (18) 
f = f-F 

The neural network 301 is trained according to the above-described 
training method upon employment of the training dataset. 


m 


14 
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Further, a first discrimination value I(T) for the neural network 301 is 
formed according to the following rule: 

f 


l(T) = I s; 


t(l) t(l> t^l> t<2> t(2) ^(2) 

(n: 


M M Jxd M An) M 


(19) 


whereby 


s references the input quantities, 

t^) references a pulse that is generated by a pulsed neuron n at a time m 


within a time span [0, T], 
• kj,(n=l,...,N) references a point in time at which the pulsed neuron n 

has generated the last pulse within the time span [0, T], 

N references a plurality of pulsed neurons contained in the neural network. 

The first discrimination value I(T) clearly corresponds to the difference of 
the following entropies: 


I(T) = H(out) . (H(out|s)) , 


(20) 


aiith 

H(out). = 


./ p(out) • ln(p(out))dtP.,. dt^i^... dtg^> 


(21) 


and 


(H(outis))g = 


- ip3/p(out|5W) . ln(,{out|,0))]dt?>... dt(l>... dt'-^ 


(22) 


The first discrimination value I(T) thus derives according to the following 


rule: 
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I(T) = -Jp(out) • ln(p(out))dt(^>...d4^^\..d4N) ^ 

* i Pj/ p(out|sO)) . i„(p(out|s(3))]dtP... dt(\)... dt,,^ 


(N) 


oiith 


p(out) = 2 Pjp(outjsti) j , (24) 


j = l 
whereby 

s^^ ^ references an input quantity that is applied to the neural network at a 
time j, 

Pj references a probability that the input quantity s^^ ^ is applied to the 
5 neural network at a pint in time j, 

p(out| references a conditioned probability that a pulse is generated 
by a pulsed neuron in the neural network under the condition that the input 
quantity s^^ ^ is applied to the neural network at a point in time j. 
When a maximum first discrimination value I(T) has been determined in 
10 the fi-amework of training the neural network 301 , then this means that the input 

pattern 306, 307, 308 observed in the first time span contains enough information in 
order to classify the input pattern with adequate dependability. 

The first discrimination value I(T) is clearly formed (step 101) in the 
fi-amework of the training for a first time span [0; T] (see Figure 1) . 
15 In a fiirther step (step 102), a second time span is formed by shortening the 

first time span: [0; T'], whereby T' < T appUes. 

For the second time span [0; T'], a second discrimination value I(T') is 
formed in a fiirther step (step 103) in the same way as described above for the first 
discrimination value I(T). 
2 0 The first discrimination value I(T) is compared to the second 

discrinMiation value I(T') (step 104). 
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When the second discrimination value I(T') is the same as the first 
discrimination value I(T), then a new second time span is fomied (step 105) by 
shortening the second time span [0; T'], and the new second time span is considered 
to be the second time span (step 106). A second discrimination value I(T') is in turn 
formed (step 103) for the second time span of the new iteration. 

Clearly, this iterative method means that the time span wherein pulses 
generated by the pulsed neurons are taken into consideration for forming the output 
signal is shortened imtil the second discrimination value I(T') is unequal to the first 
discrimination value I(T). 

When the second discrimination value I(T') is smaller than the first 
discrimination value, then the neural network 301 is viewed as being an optimized 
neural network that was trained in the last preceding iteration wherein the second 
discrimination value I(T*) was not smaller than the first discrimination value I(T) 
(step 107). 

The time span respectively taken into consideration is divided into discrete 
time sub-spans for which the only thing respectively determined is whether a neuron 
generated a pulse during the time sub-span or not. 

In this way, the calculating outlay needed for the training is considerably 

reduced. 

For further illustration, the principle is explained again on the basis of 

Figure 4 . 

Figure 4 shows two continuous processes pi and p2 that are formed by a 
set of continuous input signals SI and S2. Two sequences of input quantities, the 
input patterns, are present after a corresponding, above-described digitalization. The 
input patterns are supplied to the trained neural ne^vork 401 in an application phase, 
and a space-time encoding of the processes plsp2 is clearly implemented on the basis 
of the time rows for the trained neural network 401 . 

On the basis of an output signal 402, the trained neural network 401 
indicates the kind of process the input pattern involves. The trained neural network 
401 exhibits the property that, first, the dependability of the optimization is optimized 
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and, second, a minimum plurality of time row values, i.e. a minimum second time 
span 403, is required in order to dependably implement the classification. 

A few alternatives to the above-described exemplary embodiment are 
present below: 

The plurality of inputs, of pulsed neurons as well as output signals is 
generally arbitrary. The plurality of different sequences of time row values is also 
ari>itrary in the framework of the classification and in the framework of the training. 
An electroencephalogram analysis is thus possible for an arbitrary pluraUty of 
channels for characterizing tumors. 
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patent Claims] ^(^^......J^ (k^^^^ 


1 .^^etho^for training a neural network that contains pulsed neurons, 
a) :^a^^the neural network^ trained suc^ for a first time span^O; TJ^^ata" 
discrimination value is maximized, as a result whereof a maximum first 
5 discrimination value is formed; 

^^t^"^*"^ discrimination value(^ forme^ dependent on pulses that are fomied by 
the pulsed neurons within the first time span as well as on a training 
s^guence of input quantities that are supplied to the neural network; 
c)>*-*Tf''^^ steps(^c^teractively(iropl«aeste^: 
1 0 [;^^the first time span |js shortenedjto form a second time span, 

C-3^second discrimination value ^ forme^ for the second time span, 
[j3when the second discrimination value is the same as the first 
discrimination value, then|/n^^itMation(^^ a new second time 

span that is formed by shortening the second time span of the preceding 
15 iteration, y. 

^otherwise,^the method|is-«ide^and the trained neural network is the 
neural network of the last iteration wherein the second discrimination 
value is ttie same as the first discrimination value, 
2Jg|efe^according to claim 1, ^£b©Fe^an ootin^zation method that is 
2 0 not gradient based is utilized for the maximization offthe first discrimination value 
an^^Jof the second discrimination value. 

3. ^(Sdetb0d)according to claim 2, (^b^eb£j^e optimization method is based 
on the ALOPEX method, .v . ^ / 

4. ^4ctfioci)according to^^^>£lh^claiiijsri<^i»«^^ whereby the first 
2 5 discrimination value I(T) satisfies the following rule: 


I(T) = I 


f ft(^> t(^> t^l> t(2) t(2) t(2) 


'\M M M M t(N) JN) 


• s references the input quantities. 
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references a pulse that is generated by a pulsed neuron n at a time m 
within a time span [0, T], 

k,, (n = 1, N) references a point in time at which the pulsed neuron n 
has generated the last pulse within the time span [0, T], 
N references a plurality of pulsed neurons contained in the neural network 
5p4etheQjaccording to claim 4, [wfi©F€^the first discrimination value 
I(T) satisfies the following rule: 

Kt) = -Jp(out) • ln(p(out))dtP,..d4^>...d4^^ + 

i PjJ p(out|se)) . ix(p(out:|s(3))]dtP dt(^>.. dt<^> 


+ 


p(out) = 2 pjp^oulJs^)] , 

r whereb^ 

• s^^ ^ references an input quantity that is applied to the neural network at a 

10 timej, 

Pj references a probabiUty that the input quantity s^^ ^ is applied to the 
neural network at a pint in time j, 

p(out|s^^>) references a conditioned probability that a pulse is generated 

by a pulsed neuron in the neural network under the condition that the input 
15 ^ ^.^..^^^^^^jt^^C^ app lied to the neural network at a point in time j. ^ 

6.^[efee^according^^ie of the)claim^ ^fou^-^, ^^erefe^ie^ 
training sequence^^^^^ 

v.^^cthda^cording to claim 6, ^horcby )|^ training sequence of input 
quantities^e-fsi^signals of an electroencephalogram. 


8j|^etho^for fe^ classification of a sequence of input quantities upon 
employment of a neural network that contains pulsed neurons and was trained^ 
^ ^Ggurdn ^to the following steps: . 

a) ^^^^^^^^'^^^^e neural network j c trained suc^ for a first time span^that a 

discrimination value is maximized, as a result whereof a maximum first 
discrimination value is fomied; 

b) ^fr^^'^'^the discrimination value [j s ^fonnc jdependent on pulses that are foraied bj 

the pulsed neurons within^^first time span as well as on a training 
sequence of input quantities that are supplied to the neural network; 

c) >*'^2^^^^ stepsigj'interactivelyjLaplcnicnt^: 

^%^^e nrst i^im^ to fomi a second time span, 

^^s^iwid^crimination value ^sJbfm^ for the second time span, 
(}^when the second discrimination value is the same as the first 
discnmination value, then^a new iteration ^s«e§ with a new second time 
span that is formed by shortening the second time span of the preceding 
iteration, . , 

j^otherwisejfthe meth6d(k-ende^and the trained neural network is the 
neural network of the last iteration wherein the second discrimination 
. value is the same as the first discrimination value, 
'^^wl^^the s^uence of input quantitie ^ suppli^ to the neural network; cx.^^ 
^ wher e b ^|aclassification signal | s fomi e d \that indicates what kind of sequence of 
input quantities the supplied sequence is. . a 

Q.^^tethod^ccording to claim 9, tehepet^the training sequence of input 
quantiti^amd^toes^ira^ quantities^a^measured physical signals. 

lO^^ethofl^according to claim 9, @here^ the training sequence of input 
quantities and the sequence of input quantities are measured signals of an 
electeoOTc^ 

( 1 1 Jj^Sttf^Qietwork that contains pulsed neurons has been trained 

according to the following steps: 
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a) the neural network is trained such for a first time span that a 
discrimination value is maximized, as a resuh whereof a maximum first 
discrimination value is formed; 

b) the discrimination value is formed dependent on pulses that are formed by 
5 the pulsed neurons within the first time span as well as on a training 

sequence of input quantities that are supplied to the neural network; 

c) the following steps are interactively implemented: 

QOthe first time span is shortened to forai a second time span, 
r>^a second discrimination value is formed for the second time span, 
1 0 (Sfjwhen the second discrimination value is the same as the first 

discrimination value, then a new iteration ensues with a new second time 
span that is formed by shortening the second time span of the preceding 
iteration, 

^^otherwise, the method is ended and the trained neural network is the 
1 5 neural network of the last iteration wherein the second discrimination 

^ value is the same^ the first discrimination value. y ^ - 

^ 1 2^te»^ network according to claim 1 0,jutilized for^Hag classification of 

a physical sign^ ^^^.^a^.....^ 
(O-*^'''-^'*^^ network according to claim 10, utilized for the cla ssification^ f^ 

f /O^^j^^^^^ ) ^ ''^^^14r^OTg^€n|Jfor training a neural network that contains pulsed 

neurons^^ toipns eg^^processor that is configured such that the following steps ^an bey- 
implemented: 

a) the neural network is trained such for a first time span that a 

2 5 discrimination value is maximized, as a result whereof a maximum first 

discrimination value is formed; 

b) the discrimination value is formed dependent on pulses that are formed by 
the pulsed neurons within the first time span as well as on a training 
sequence of input quantities that are supplied to the neural network; 

3 0 c) the following steps are interactively implemented: 

<yr^5^e first time span is shortened to form a second time span. 
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Qr^a second discrimination value is formed for the second time span, 
{^^v/hen the second discrimination value is the same as the first 
discrimination value, then a new iteration ensues with a new second time 
span that is formed by shortening the second time span of the preceding 
5 iteration, ^a-^-tp^ 

1>^otherwise, the method is ended and the trained neural network is the 
neural network of the last iteration wherein the second discrimination 
^ ^ value is the same as the first discrimination value., y / - 

^ X 15 (grrari^cmci rt)according to claim 1 4,\utihzed for the classification of a 

10 physical signay^^^^^^^^^^^^^^^^ 

16. g rrangeme ^according to claim 14,^tilized for the classification of a 
signal of an electroencephalogram. 
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5 




For a first time span, the neural network is trained such that a 


discrimination value is maximized, whereby the discrimination values is dependent on 
pulses that are formed by pulsed neurons within the first time span. Iterativeiy, the 
first time span is shortened and a second discrimination value is formed until the 
1 0 second discrimination value is smaller than the maximum discrimination value. The 
trained neural network is the neural network of the last iteration wherein the second 
discrimination value is equal to the maximum discrimination value. 
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(57) Abstract 

The neural network is trained for a first period in such 
a way that a discrimination value is maximized, wherein the 
discrimination value is dependent on impulses formed by the 
pulsed neurons during the first period. The first period is short- 
ened in an iterative manner and a second discrimination value 
is formed for the second period until the second discrimination 
value is smaller than the maximum discrimination value. The 
trained neural network is the neural network of the last iteration 
in which the second discrimination value equals the maximum 
discrimination value. 

(57) Zusanunenfossung 

FQr einen ersten Zeitraum wird das neuronale Nctz der- 
art trainiert, daB ein Unterscheidungswert maxim iert wird. wobei 
der Unterscheidungswert abh^gig ist von Imputsen, die von den 
gepulsten Neuronen innerhalb des ersten Zeitraums gebildet wer- 
den. Iterativ wird der erste Zeitraum so lange vericQnt und fOr 
den zweiten Zeitraum ein zweiter Unterscheidungswert gebildet, 
bis der zweite Unterscheidungswert kleiner ist als der maximale 
Unterscheidungswert Das trainierte neuronale Netz ist das neu- 
ronale Netz der letzten Iteration, bei der der zweite Unterschei- 
dungswert gleich dem maximalen Unterscheidungswert ist. 


Blldung efnes ersten 
Umerscheltfufimwerts fOr 
einen ersten Zeitraum 


^101 


FORMATION OF A FIRST 
0ISCRIU1NAT1ON VALUE FOR A 


Bildung eines.areiten 
Zeitraums durch VeiWtrzunQ 
des ersten Zeitraums 


FORMATION OF A SECOND PERIOD 
BV SHORTENING THE SECOND PERIOD 


BiMung elnss weilen 
UnterscheldunQswerts (Or 
den zweiten Zeitraum 


FORMATION OF A SECOND 
DISCRIMINATIOH VALUE FOR THE 
SECOND PERIOD 


FIRST DISCR1MtF4AT10N VALUE 
• SECOND DISCRIMI- 
NATION VALUE 7 

'^ster UnterschetdunQswer? 


-103 


106 


neuerzweHer Zeitraum 
nreitei Zeitraum 



NEW SECOND PERtOO 
:- SECOND PERIOD 


Bildung etrns neuen zweiten 
Zeitraums durch VWrzung 
des zweiten Zeitraums 


V FORMATU>NOFANEW 
1. SECOND PERIOD BV 
lOSSHORTEWNaTHE 
SECOND PERIOD 


1rain^ertBsKeumn3ies^tetz^sl ^07 

Ncuronalw Heo der lemen Iicralion 


TRAr>^ NBAAL KETWOAi; B LAST 
rTERATON NEURAL NEIWOHK 


LEDIGLICH ZUR INFORMATION 


Codes zur Idcntifizierung von PCT-Vertragsstaaten auf den Kopfb6gen der Schriften, die intemationale Anmeldungen gemSss dem 
PCT ver6ffentlichen. 


AL 

Albanien 

ES 

Spanien 

LS 

Lesotho 

SI 

Slowenieh 

AM 

Aimenien 

FI 

Fmnland 

LT 

Litauen 

SK 

Slowakei 

AT 

OsieiTcich 

FR 

Frankreich 

LU 

Luxemburg 

SN 

Senegal 

AD 

Auscralien 

GA 

Gabun 

LV 

Lettland 

SZ 

Swasiland 

AZ 

Aserbaidschan 

GB 

Vcreimgtcs KOnigreich 

MC 

Monaco 

TD 

Tschad 

BA 

Bosnien-HcTZcgowina 

GE 

Georgien 

MD 

Republik Moldau 

TG 

Togo 

BB 

Barbados 

GH 

Ghana 

MG 

Madagaskar 

TJ 

Tadschikistan 

BE 

Belgien 

GN 

Guinea 

MK 

Die ehemalige jugoslawische 

TM 

Turkmenistan 

BF 

Burkina Faso 

GR 

Griechenland 


Republik Mazedonien 

TR 

TDrkei 

BG 

Bulgarien 

HU 

Ungain 

ML 

Mali 

TT 

Trinidad und Tobago 

BJ 

Benin 

IE 

Irland 

MN 

Mongolei 

UA 

Ukraine 

BR 

Brasilien 

IL 

Israel 

MR 

Mauretanien 

UG 

Uganda 

BY 

Belarus 

IS 

Island 

MW 

Malawi 

US 

Veretnigte Staaten von 

CA 

Kanada 

IT 

Italien 

MX 

Mexiko 


Amerika 

CF 

Zcntralafrikanische Republik 

JP 


NE 

Niger 

UZ 

Usbekistan 

CG 

Kongo 

K£ 

Kenia 

NL 

Kiederlande 

VN 

Vietnam 

CH 

Schweiz 

KG 

Kirgisistan 

NO 

NoTwegen 

YU 

Jugoslawten 

CI 

C&c d'lvoirc 

KP 

Dcinokrausche Volksrepublik 

NZ 

Neuseeland 

ZW 

Zimbabwe 

CM 

Kamenm 


Korea 

PL 

Polen 



CN 

China 

KR 

Republik Korea 

PT 

Portugal 



CU 

Kuba 

KZ 

Kasachstan 

RO 

Rum&nien 



CZ 

Tschechische Republik 

LC 

St Luda 

RU 

Russlsche Fdderaiion 



DE 

Deutsdiland 

U 

Uechtemtein 

SD 

Sudan . 



DK 

DSncmark 

LK 

Sri Lanka 

SB 

Scbweden 



EE 

Estland 

LR 

Liberia 

SG 

Singapur 




